One-Hot 编码

概述

One-Hot 编码是一种传统的词表示方法，将词汇表中的每个词表示为一个高维稀疏向量，其中只有一个元素为1，其余均为0。

关键内容

1. 表示方式：
2. 词表大小为 V，则每个词表示为 V 维向量
3. 向量中只有一个位置为 1（对应词的位置），其余位置为 0

4. 如"猫"=[0,0,0,1,0,...,0]，"狗"=[0,0,0,0,1,0,...,0]

5. 主要缺陷：

6. 维度灾难：词表很大时，向量维度极高，造成存储和计算压力
7. 语义盲区：任意两个不同词的余弦相似度为0，无法表达语义关系

8. 泛化能力弱：无法捕获词之间的相似性

9. 与词向量对比：

10. One-Hot 是稀疏、高维、无语义关系的表示
11. 词向量是稠密、低维、能表达语义关系的表示
12. Word2Vec 等模型正是为了解决 One-Hot 的缺陷而提出

来源

• paper_09_word2vec — 作为对比方法提及

相关

• 词向量 — 对比方法
• Word2Vec — 解决其缺陷
• 分布式假说 — 理论替代方法
• NLP — 应用领域